📌Какой вектор лучше: Dense vs Multi-vector embeddings
Раньше хватало одного эмбеддинга на документ. Сейчас — этого уже мало. Нужна структура.
📍Dense-векторы (single vector per doc): — быстрые — экономные по памяти — слабо улавливают контекст — «плавают» при сложных запросах 👉 подходят для простого поиска
📍Multi-vector (late interaction): — вектор на каждый токен — сравниваются токены запроса и документа напрямую — лучше качество на сложных задачах — выше требования к хранилищу 👉 баланс между скоростью и точностью
📍Late interaction ≈ золотая середина: — быстрее, чем cross-encoders — точнее, чем dense-векторы
📍Примеры моделей: — ColBERT — для текстов — ColPali — multimodal: текст + PDF как картинки — ColQwen — как ColPali, но на Qwen2 (Apache 2.0, компактнее)
Если вы работаете с PDF-документами (таблицы, графики, изображения) — мультивекторные модели решают большинство проблем без «чaнкинга» и костылей.
📌Какой вектор лучше: Dense vs Multi-vector embeddings
Раньше хватало одного эмбеддинга на документ. Сейчас — этого уже мало. Нужна структура.
📍Dense-векторы (single vector per doc): — быстрые — экономные по памяти — слабо улавливают контекст — «плавают» при сложных запросах 👉 подходят для простого поиска
📍Multi-vector (late interaction): — вектор на каждый токен — сравниваются токены запроса и документа напрямую — лучше качество на сложных задачах — выше требования к хранилищу 👉 баланс между скоростью и точностью
📍Late interaction ≈ золотая середина: — быстрее, чем cross-encoders — точнее, чем dense-векторы
📍Примеры моделей: — ColBERT — для текстов — ColPali — multimodal: текст + PDF как картинки — ColQwen — как ColPali, но на Qwen2 (Apache 2.0, компактнее)
Если вы работаете с PDF-документами (таблицы, графики, изображения) — мультивекторные модели решают большинство проблем без «чaнкинга» и костылей.
Durov said on his Telegram channel today that the two and a half year blockchain and crypto project has been put to sleep. Ironically, after leaving Russia because the government wanted his encryption keys to his social media firm, Durov’s cryptocurrency idea lost steam because of a U.S. court. “The technology we created allowed for an open, free, decentralized exchange of value and ideas. TON had the potential to revolutionize how people store and transfer funds and information,” he wrote on his channel. “Unfortunately, a U.S. court stopped TON from happening.”
A project of our size needs at least a few hundred million dollars per year to keep going,” Mr. Durov wrote in his public channel on Telegram late last year. “While doing that, we will remain independent and stay true to our values, redefining how a tech company should operate.
Библиотека data scientist’а | Data Science Machine learning анализ данных машинное обучение from ar
